<!doctype html>
<html lang="en">

<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
  
  <meta name="generator" content="Hugo 0.98.0" />

  
  <meta name="description" content="走在通往幸福的路上">
  

  
  <link rel="apple-touch-icon" sizes="180x180" href="https://blog.v5u.win/apple-touch-icon.png">

  
  <link rel="icon" type="image/png" sizes="32x32" href="https://blog.v5u.win/favicon-32x32.png">

  
  <link rel="icon" type="image/png" sizes="16x16" href="https://blog.v5u.win/favicon-16x16.png">

  
  <link rel="manifest" href="https://blog.v5u.win/site.webmanifest">

  
  <link rel="mask-icon" href="https://blog.v5u.win/safari-pinned-tab.svg" color="">

  <meta name="msapplication-TileColor" content="">

  <meta name="theme-color" content="">

  
  <link rel="stylesheet" href="https://blog.v5u.win/css/bootstrap.min.css" />

  
  <title>pyquery 解析网页乱码 | 为吾优</title>
  

  <style>
body {
  min-width: 300px;
}

.custom-navbar {
  margin-bottom: 1em;
  height: 60px;
}

.custom-navbar a {
  display: inline-block; 
  padding: 18px 0;
  margin-right: 1em; 
  font-weight: bold; 
}

.custom-navbar a:hover,
.custom-navbar a:focus {
  text-decoration: none; 
}

@media print {
  .custom-navbar {
    display: none;
  }
}

article {
  padding-bottom: 1em;
}

img {
  max-width: 100%;
}


body {
  background-color: #fff;
}



body {
  color: #212529;
}



a {
  color: #007bff;
}



a:hover,
a:focus {
  color: #0056b3;
}



.custom-navbar {
  background-color: #212529;
}



.custom-navbar a {
  color: rgba(255,255,255,.75);
}



.custom-navbar a:hover,
.custom-navbar a:focus {
  color: rgba(255,255,255,1);
}



.container {
  max-width: 800px;
}





</style>
</head>

<body>
  <nav class="custom-navbar">
  <div class="container">
    
    <a href="/">文章</a>
    
    <a href="/tags/">标签</a>
    
    <a href="/about/">关于</a>
    
    <a href="/index.xml">RSS</a>
    
  </div>
</nav>
  
  <div class="container">
    <article>
      <h1>pyquery 解析网页乱码</h1>
<h3 id="pyquery-解析网页乱码">pyquery 解析网页乱码</h3>
<p><code>问题：使用pyquery直接请求的网页，解析中文出现一半乱码，一般正常的情况</code></p>
<h5 id="花了半天的时间也没找到解决办法第二天早上无意间点开一个搜索结果链接经验证完美解决问题立字为证">花了半天的时间也没找到解决办法，第二天早上无意间点开一个搜索结果链接，经验证，完美解决问题，立字为证。</h5>
<pre><code>1. 确认encode设置正确
2. 根据知乎@actberw 的解释：pyquery的源码，http 请求使用的是requests，如果没有就调用标准库urllib2
3. requests可以很好的处理返回的html编码问题，而urllib2不能
4. 如果安装了requests还是不行的话，requests是有一个bug（2016年3月数据），有两种解决办法：
1). 构建pq对象的时候把encoding参数传进去 d=pq(url='xxx', encoding=&quot;gbk&quot;)
2). 把pyquery/openers.py 的_requests 函数中的 if encoding: resp.encoding = encoding 这两行换成 resp.encoding = encoding or None, 或者把 requests中get_encoding_from_headers 函数的后两行删除掉。
3)（我的情况正好就是没有requests库，然后选择了方法一解决了问题）</code></pre>

    </article>
  </div>

  
  
  

  
</body>

</html>